Brooke berkahwin dengan Alice Sophia, anak perempuan Sir Alan Edward Bellingham, Baronet ke-3, yang ditemuinya di sebuah parti pada 1864. Selepas perkahwinan mereka, mereka menetap di sebuah vila di Pau, Perancis, di mana mereka mempunyai sekurang-kurangnya enam orang anak. Yang paling muda ialah Alan, bakal Fil Marsyal Viscount Alanbrooke Pertama. Seorang lagi anak lelaki berkhidmat di India sebagai setiausaha tentera kepada Earl dari Minto, Victor Reginald Brooke (1873-1914), dan sangat berminat dalam memburu.[12] Seorang cucu ialah Viscount Brookeborough Pertama, Perdana Menteri Ireland Utara ketiga.

Brooke meninggal dunia akibat radang peparu di Pau pada November 1891, berumur 48 tahun, dan susur baronetnya diteruskan oleh anak sulungnya, Arthur. Lady Brooke meninggal dunia pada Julai 1920.